Cống Vị được hình thành cách đây gần một nghìn năm ở phía Tây kinh thành Thăng Long. Đó là một vùng đất cổ đã được phù sa sông Hồng bồi đắp.

Hà Nội xưa có nhiều sông ngòi nằm trong vùng. Để để phòng lũ lụt, người ta cho đắp một đường thành bao bọc gọi là La Thành. Đến năm 864, Cao Biền đời nhà Đường sang thay thế đã mở rộng là Đại La thành, đến nay vẫn còn vết tích.

Trong suốt ba thế kỷ thống trị của nhà Đường, trong một thời gian, các vùng như Quần Ngựa, Ngọc Hà, gò Long Thủ,...hầu như không có dân sinh sống, ruộng bỏ hoang, cây cối rậm rạp, cỏ mọc um tùm:

" Mênh mang hồ nước sình lầy

Nhấp nhô đồi núi, rừng cây bạt ngàn"

Từ năm 1010, khi Lý Công Uẩn rời đô ra Thăng Long, thành Đại La được tu sửa, bồi đắp và mở cửa ô Bảo Khánh (phía Tây Cống Vị).

Vào thế kỷ XI, người dân nghèo ven sông Đuống đã xin nhà vua sang Thăng long khai hoang. Họ cùng nhau khai phá miền rừng cây rậm rạp, đồng lầy, cỏ mọc hoang vu dọc bờ sông Tô Lịch lập nên mười ba trại. Đó là các trại: Vạn Phúc, Vĩnh Phúc, Đại Yên, Thủ Lệ, Ngọc Khánh, Ngọc Hà, Liễu Giai, Kim Mã, Hữu Tiệp, Giảng Võ, Cống Vị, Cống Yên, Xuân Biểu.